对抗性训练是为了增强针对对抗性攻击的鲁棒性，它引起了很多关注，因为它很容易产生人类侵蚀的数据扰动，以欺骗给定的深层神经网络。在本文中，我们提出了一种新的对抗性培训算法，该算法在理论上具有良好的动机和经验上优于其他现有算法。该算法的新功能是使用数据自适应正则化来鲁棒化预测模型。我们将更多的正则化应用于更容易受到对抗攻击的数据，反之亦然。尽管数据自适应正则化的想法并不是什么新鲜事物，但我们的数据自适应正则化具有牢固的理论基础，可以减少稳健风险的上限。数值实验表明，我们提出的算法同时提高了概括（清洁样品的准确性）和鲁棒性（对对抗性攻击的准确性），以实现最先进的性能。

变形金刚正在改变计算机视觉的景观，特别是对于识别任务。检测变压器是对象检测的第一个完全结束的学习系统，而视觉变压器是用于图像分类的第一个完全变压器的架构。在本文中，我们集成了视觉和检测变压器（Vidt）以构建有效和高效的物体探测器。 VIDT引入了重新配置的注意模块，将最近的Swin变压器扩展为独立对象检测器，然后是计算高效的变压器解码器，该解码器利用多尺度特征和辅助技术来提高检测性能，而无需多大增加计算负载。 Microsoft Coco基准数据集上的广泛评估结果表明，VIDT在现有的基于变压器的对象检测器中获得了最佳的AP和延迟折衷，并且由于大型型号的高可扩展性而实现了49.2AP。我们将在https://github.com/naver-ai/vidt发布代码和培训的型号

Yes. In this paper, we investigate strong lottery tickets in generative models, the subnetworks that achieve good generative performance without any weight update. Neural network pruning is considered the main cornerstone of model compression for reducing the costs of computation and memory. Unfortunately, pruning a generative model has not been extensively explored, and all existing pruning algorithms suffer from excessive weight-training costs, performance degradation, limited generalizability, or complicated training. To address these problems, we propose to find a strong lottery ticket via moment-matching scores. Our experimental results show that the discovered subnetwork can perform similarly or better than the trained dense model even when only 10% of the weights remain. To the best of our knowledge, we are the first to show the existence of strong lottery tickets in generative models and provide an algorithm to find it stably. Our code and supplementary materials are publicly available.

了解视频的时间动态是学习更好的视频表示的重要方面。最近，由于其能力捕获了输入序列的长期依赖性，因此对基于变压器的架构设计进行了广泛的探索。但是，我们发现这些视频变压器仍然有偏见地学习空间动力学而不是时间动力学，而伪造的虚假相关性对于它们的性能至关重要。根据观察结果，我们设计了简单而有效的自我监督任务，以便视频模型更好地学习时间动态。具体而言，对于借鉴空间偏见，我们的方法将视频框架的时间顺序作为额外的自我设计，并强制执行随机洗牌的框架以具有低信心的输出。此外，我们的方法还学习了连续帧之间视频令牌的时间流动方向，以增强与时间动力学的相关性。在各种视频动作识别任务下，我们证明了我们的方法的有效性及其与最先进的视频变压器的兼容性。

最近，数据增强已成为视觉识别任务的现代培训食谱的重要组成部分。但是，尽管有效性，但很少探索视频识别的数据增强。很少有用于视频识别的现有增强食谱通过将相同的操作应用于整个视频框架来天真地扩展图像增强方法。我们的主要思想是，每帧的增强操作的大小都需要随着时间的推移而更改，以捕获现实世界视频的时间变化。在训练过程中，应使用更少的额外超参数来尽可能多地生成这些变化。通过这种动机，我们提出了一个简单而有效的视频数据增强框架Dynaaugment。每个帧上增强操作的大小通过有效的机制，傅立叶采样更改，该采样将各种，平滑和现实的时间变化参数化。 Dynaaugment还包括一个适用于视频的扩展搜索空间，用于自动数据增强方法。 Dynaaugment在实验上表明，从各种视频模型的静态增强中可以改善其他性能室。具体而言，我们在各种视频数据集和任务上显示了Dynaaugment的有效性：大规模视频识别（Kinetics-400和Sothings-Something-v2），小规模视频识别（UCF-101和HMDB-51），精细元素视频识别（潜水48和FINEGYM），早餐的视频动作细分，Thumos'14上的视频动作本地化以及MOT17DET上的视频对象检测。 Dynaaugment还使视频模型能够学习更广泛的表示形式，以改善损坏视频的模型鲁棒性。

为了估计基于多视图的渲染中3D点的体积密度和颜色，一种常见的方法是检查给定的源图像特征之间的共识存在，这是估计过程的信息提示之一。为此，大多数以前的方法都利用了同样加权的聚合特征。但是，这可能会使在源图像功能集中包含一些经常通过遮挡发生的异常值时，很难检查共识存在。在本文中，我们提出了一种新颖的源视图特征聚合方法，该方法通过利用特征集中的局部结构来促进我们以强大的方式以强大的方式找到共识。我们首先计算提出的聚合的每个源特征的源视图距离分布。之后，将距离分布转换为几个相似性分布，并具有所提出的可学习相似性映射函数。最后，对于特征集中的每个元素，通过计算加权均值和方差来提取聚合特征，其中权重是从相似性分布得出的。在实验中，我们在各种基准数据集（包括合成和真实图像场景）上验证了所提出的方法。实验结果表明，合并提出的功能可以通过大幅度提高性能，从而提高最先进的性能。

Recent self-supervised video representation learning methods focus on maximizing the similarity between multiple augmented views from the same video and largely rely on the quality of generated views. However, most existing methods lack a mechanism to prevent representation learning from bias towards static information in the video. In this paper, we propose frequency augmentation (FreqAug), a spatio-temporal data augmentation method in the frequency domain for video representation learning. FreqAug stochastically removes specific frequency components from the video so that learned representation captures essential features more from the remaining information for various downstream tasks. Specifically, FreqAug pushes the model to focus more on dynamic features rather than static features in the video via dropping spatial or temporal low-frequency components. To verify the generality of the proposed method, we experiment with FreqAug on multiple self-supervised learning frameworks along with standard augmentations. Transferring the improved representation to five video action recognition and two temporal action localization downstream tasks shows consistent improvements over baselines.

了解文档图像（例如，发票）是一个重要的研究主题，并在文档处理自动化中具有许多应用。通过基于深度学习的光学字符识别（OCR）的最新进展，目前的视觉文档了解（VDU）系统已经基于OCR设计。虽然这种基于OCR的方法承诺合理的性能，但它们遭受了由OCR引起的关键问题，例如（1）（1）昂贵的计算成本和（2）由于OCR误差传播而导致的性能下降。在本文中，我们提出了一种新颖的VDU模型，即结束可训练而不支撑OCR框架。为此，我们提出了一个新的任务和合成文档图像生成器，以预先列车，以减轻大规模实体文档图像上的依赖关系。我们的方法在公共基准数据集和私营工业服务数据集中了解各种文档的最先进的性能。通过广泛的实验和分析，我们展示了拟议模型的有效性，特别是考虑到真实世界的应用。

利用源区和目标域之间的张建空间是最近无监督的域适应方法之一。然而，标签的平衡崩溃问题，源标签在邻居实例的预测中占据了目标标签的主导地位，从未得到解决。在本文中，我们提出了一个实例 - 方面的最小策略，最小化了张开的空间中的高不确定性实例的熵，以解决它。我们通过最低限度问题的解决方案将大亨空间分为两个子空间：对比空间和共识空间。在对比的空间中，通过约束实例来减轻域间差异，以具有对比度视图和标签，并且共识空间减少了域内类别之间的混淆。我们的方法的有效性在公共基准上证明，包括办公室-31，办公室和visda-c，这实现了最先进的表演。我们进一步表明，我们的方法在PACS上表明了当前最先进的方法，这表示我们的实例 - 方面的方法适用于多源域适应。

Vision Transformer (ViT) extends the application range of transformers from language processing to computer vision tasks as being an alternative architecture against the existing convolutional neural networks (CNN). Since the transformer-based architecture has been innovative for computer vision modeling, the design convention towards an effective architecture has been less studied yet. From the successful design principles of CNN, we investigate the role of spatial dimension conversion and its effectiveness on transformer-based architecture. We particularly attend to the dimension reduction principle of CNNs; as the depth increases, a conventional CNN increases channel dimension and decreases spatial dimensions. We empirically show that such a spatial dimension reduction is beneficial to a transformer architecture as well, and propose a novel Pooling-based Vision Transformer (PiT) upon the original ViT model. We show that PiT achieves the improved model capability and generalization performance against ViT. Throughout the extensive experiments, we further show PiT outperforms the baseline on several tasks such as image classification, object detection, and robustness evaluation. Source codes and ImageNet models are available at https://github.com/naver-ai/pit.